Telegram Group & Telegram Channel
Forwarded from Machinelearning
🌟 Oumi: опСнсорс-Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊ ΠΏΠΎΠ»Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° для LLM.

Oumi - открытая ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ° для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ, Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½Π°, ΠΎΡ†Π΅Π½ΠΊΠΈ ΠΈ экспСримСнтов с языковыми ΠΈ ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠΌΠΎΠ΄Π°Π»ΡŒΠ½Ρ‹ΠΌΠΈ модСлями, созданная совмСстными усилиями исслСдоватСлСй ΠΈΠ· 13 Π²Π΅Π΄ΡƒΡ‰ΠΈΡ… унивСрситСтов.

Oumi прСдоставляСт инструмСнты ΠΈ Ρ€Π°Π±ΠΎΡ‡ΠΈΠ΅ процСссы для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ запуска ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Ρ… экспСримСнтов Π½Π° кластСрС, развСртывания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² Ρ€Π°Π±ΠΎΡ‡Π΅ΠΉ срСдС ΠΈ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ распрСдСлСнного обучСния (FSDP, DDP):

πŸŸ’ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈ Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΎΡ‚ 10M Π΄ΠΎ 405B ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΌΠ΅Ρ‚ΠΎΠ΄Π°ΠΌΠΈ SFT, LoRA, QLoRA ΠΈ DPO;
πŸŸ’ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΡƒ популярных сСмСйств ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ: Llama, DeepSeek, Qwen ΠΈ Phi;
πŸŸ’ΡΠΈΠ½Ρ‚Π΅Π· ΠΈ ΠΊΡƒΡ€ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… с использованиСм LLM-judge;
πŸŸ’Π±Ρ‹ΡΡ‚Ρ€ΠΎΠ΅ Ρ€Π°Π·Π²Π΅Ρ€Ρ‚Ρ‹Π²Π°Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² срСдах vLLM ΠΈ SGLang;
πŸŸ’ΠΏΡ€ΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ комплСксного Π±Π΅Π½Ρ‡ΠΌΠ°Ρ€ΠΊΠΈΠ½Π³Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΏΠΎ стандартным тСстам;
πŸŸ’Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ ΠΏΠΎ API OpenAI, Anthropic ΠΈ Vertex AI;
πŸŸ’ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Ρ†ΠΈΡ с Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΎΠΉ Transformers.

Π’ Ρ€Π΅ΠΏΠΎΠ·ΠΈΡ‚ΠΎΡ€ΠΈΠΈ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° собраны Π³ΠΎΡ‚ΠΎΠ²Ρ‹Π΅ Π½ΠΎΡƒΡ‚Π±ΡƒΠΊΠΈ ΠΈ скрипты для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΈΠ· этапов ΠΆΠΈΠ·Π½Π΅Π½Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, Π° подробная докумСнтация ΠΏΠΎ использованию ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ‚ Π»Π΅Π³ΠΊΠΎ ΠΎΡΠ²ΠΎΠΈΡ‚ΡŒ эту ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡƒ.

πŸ“ŒΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: Apache 2.0 License.


πŸŸ‘Π‘Ρ‚Π°Ρ‚ΡŒΡ
πŸŸ‘Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΡ
πŸŸ‘Π‘ΠΎΠΎΠ±Ρ‰Π΅ΡΡ‚Π²ΠΎ Π² Discord
πŸ–₯GitHub


@ai_machinelearning_big_data

#AI #ML #Oumi #Framework
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM



tg-me.com/machinelearning_interview/1540
Create:
Last Update:

🌟 Oumi: опСнсорс-Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊ ΠΏΠΎΠ»Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° для LLM.

Oumi - открытая ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ° для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ, Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½Π°, ΠΎΡ†Π΅Π½ΠΊΠΈ ΠΈ экспСримСнтов с языковыми ΠΈ ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠΌΠΎΠ΄Π°Π»ΡŒΠ½Ρ‹ΠΌΠΈ модСлями, созданная совмСстными усилиями исслСдоватСлСй ΠΈΠ· 13 Π²Π΅Π΄ΡƒΡ‰ΠΈΡ… унивСрситСтов.

Oumi прСдоставляСт инструмСнты ΠΈ Ρ€Π°Π±ΠΎΡ‡ΠΈΠ΅ процСссы для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ запуска ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Ρ… экспСримСнтов Π½Π° кластСрС, развСртывания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² Ρ€Π°Π±ΠΎΡ‡Π΅ΠΉ срСдС ΠΈ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ распрСдСлСнного обучСния (FSDP, DDP):

πŸŸ’ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈ Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΎΡ‚ 10M Π΄ΠΎ 405B ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΌΠ΅Ρ‚ΠΎΠ΄Π°ΠΌΠΈ SFT, LoRA, QLoRA ΠΈ DPO;
πŸŸ’ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΡƒ популярных сСмСйств ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ: Llama, DeepSeek, Qwen ΠΈ Phi;
πŸŸ’ΡΠΈΠ½Ρ‚Π΅Π· ΠΈ ΠΊΡƒΡ€ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… с использованиСм LLM-judge;
πŸŸ’Π±Ρ‹ΡΡ‚Ρ€ΠΎΠ΅ Ρ€Π°Π·Π²Π΅Ρ€Ρ‚Ρ‹Π²Π°Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² срСдах vLLM ΠΈ SGLang;
πŸŸ’ΠΏΡ€ΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ комплСксного Π±Π΅Π½Ρ‡ΠΌΠ°Ρ€ΠΊΠΈΠ½Π³Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΏΠΎ стандартным тСстам;
πŸŸ’Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ ΠΏΠΎ API OpenAI, Anthropic ΠΈ Vertex AI;
πŸŸ’ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Ρ†ΠΈΡ с Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΎΠΉ Transformers.

Π’ Ρ€Π΅ΠΏΠΎΠ·ΠΈΡ‚ΠΎΡ€ΠΈΠΈ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° собраны Π³ΠΎΡ‚ΠΎΠ²Ρ‹Π΅ Π½ΠΎΡƒΡ‚Π±ΡƒΠΊΠΈ ΠΈ скрипты для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΈΠ· этапов ΠΆΠΈΠ·Π½Π΅Π½Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, Π° подробная докумСнтация ΠΏΠΎ использованию ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ‚ Π»Π΅Π³ΠΊΠΎ ΠΎΡΠ²ΠΎΠΈΡ‚ΡŒ эту ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡƒ.

πŸ“ŒΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: Apache 2.0 License.


πŸŸ‘Π‘Ρ‚Π°Ρ‚ΡŒΡ
πŸŸ‘Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΡ
πŸŸ‘Π‘ΠΎΠΎΠ±Ρ‰Π΅ΡΡ‚Π²ΠΎ Π² Discord
πŸ–₯GitHub


@ai_machinelearning_big_data

#AI #ML #Oumi #Framework

BY Machine learning Interview





Share with your friend now:
tg-me.com/machinelearning_interview/1540

View MORE
Open in Telegram


Machine learning Interview Telegram | DID YOU KNOW?

Date: |

Telegram auto-delete message, expiring invites, and more

elegram is updating its messaging app with options for auto-deleting messages, expiring invite links, and new unlimited groups, the company shared in a blog post. Much like Signal, Telegram received a burst of new users in the confusion over WhatsApp’s privacy policy and now the company is adopting features that were already part of its competitors’ apps, features which offer more security and privacy. Auto-deleting messages were already possible in Telegram’s encrypted Secret Chats, but this new update for iOS and Android adds the option to make messages disappear in any kind of chat. Auto-delete can be enabled inside of chats, and set to delete either 24 hours or seven days after messages are sent. Auto-delete won’t remove every message though; if a message was sent before the feature was turned on, it’ll stick around. Telegram’s competitors have had similar features: WhatsApp introduced a feature in 2020 and Signal has had disappearing messages since at least 2016.

The Singapore stock market has alternated between positive and negative finishes through the last five trading days since the end of the two-day winning streak in which it had added more than a dozen points or 0.4 percent. The Straits Times Index now sits just above the 3,060-point plateau and it's likely to see a narrow trading range on Monday.

Machine learning Interview from br


Telegram Machine learning Interview
FROM USA